Hoàng Phê sinh tại làng Bảo An, phủ Điện Bàn, tỉnh Quảng Nam nay là xã Điện Quang, Điện Bàn, Quảng Nam. Cháu đời thứ ba của Tổng đốc Hoàng Diệu. Thuở thiếu thời, ông học tại quê nhà rồi theo học ở Hội An, Huế, Sài Gòn.Sau cách mạng tháng 8 năm 1945, ông tham gia kháng chiến chống Pháp ở Hà Nội, Việt Bắc. Sau năm 1954, ông làm cán bộ nghiên cứu ở Viện Ngôn ngữ học, và tạp chí Ngôn ngữ học, giảng dạy tại Đại học Tổng hợp Hà Nội.